在回答问题时，人类会利用跨不同模式可用的信息来综合一致，完整的思想链（COT）。在深度学习模型（例如大规模语言模型）的情况下，这个过程通常是黑匣子。最近，科学问题基准已用于诊断AI系统的多跳推理能力和解释性。但是，现有数据集无法为答案提供注释，或仅限于仅文本模式，小尺度和有限的域多样性。为此，我们介绍了科学问题答案（SQA），这是一个新的基准，由〜21k的多模式多种选择问题组成，其中包含各种科学主题和答案的注释，并提供相应的讲座和解释。我们进一步设计语言模型，以学习将讲座和解释作为思想链（COT），以模仿回答SQA问题时的多跳上推理过程。 SQA在语言模型中展示了COT的实用性，因为COT将问题的答案绩效提高了1.20％的GPT-3和3.99％的unifiedqa。我们还探索了模型的上限，以通过喂食输入中的那些来利用解释；我们观察到它将GPT-3的少量性能提高了18.96％。我们的分析进一步表明，与人类类似的语言模型受益于解释，从较少的数据中学习并仅使用40％的数据实现相同的性能。
translated by 谷歌翻译